{"@context":"http://schema.org/","@type":"Brand","@id":"pmpr.ir%2F#Brand","slogan":"\u0645\u0634\u0627\u0648\u0631\u0647\u060c \u0646\u0638\u0627\u0631\u062a \u0648 \u0627\u062c\u0631\u0627 \u062f\u0631 \u0648\u0628","name":"\u0645\u0647\u0646\u062f\u0633 \u067e\u06cc\u0645\u0627\u0646 \u0645\u062d\u0645\u062f\u067e\u0648\u0631","sameAs":["https://wa.me/989028882747","https://t.me/+989028882747","https://instagram.com/pmpr.ir","https://www.linkedin.com/company/pmpr"]}{"@context":"http://schema.org/","@type":"WebPage","@id":"pmpr.ir%2Fweb-scrapping%2F#WebPage","breadcrumb":{"@type":"BreadcrumbList","@id":"pmpr.ir%2Fweb-scrapping%2F#BreadcrumbList","numberOfItems":4,"itemListElement":[{"@type":"ListItem","@id":"pmpr.ir%2F#ListItem","item":"https://pmpr.ir/","position":1,"name":"\u0645\u0647\u0646\u062f\u0633 \u067e\u06cc\u0645\u0627\u0646 \u0645\u062d\u0645\u062f\u067e\u0648\u0631"},{"@type":"ListItem","@id":"pmpr.ir%2Fblog%2F#ListItem","item":"https://pmpr.ir/blog/","position":2,"name":"\u0648\u0628\u0644\u0627\u06af"},{"@type":"ListItem","@id":"pmpr.ir%2Fcategory%2Fwebmastering%2F#category","item":"https://pmpr.ir/category/webmastering/","position":3,"name":"\u0648\u0628\u0645\u0633\u062a\u0631\u06cc\u0646\u06af"},{"@type":"ListItem","@id":"pmpr.ir%2Fweb-scrapping%2F#post","position":4,"name":"\u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u062f\u0648\u0646 \u0628\u0644\u0627\u06a9 \u0634\u062f\u0646 \u062a\u0646\u0647\u0627 \u0628\u0627 \u0631\u0639\u0627\u06cc\u062a \u06f7 \u0646\u06a9\u062a\u0647 \u0637\u0644\u0627\u06cc\u06cc!"}],"name":"\u0646\u0634\u0627\u0646\u06af\u0631 \u0635\u0641\u062d\u0627\u062a (\u0628\u0631\u062f\u06a9\u0631\u0627\u0645\u0628)"},"datePublished":"2020-09-17T17:00:25+04:30","dateModified":"2020-10-13T12:08:59+03:30"}{"@context":"http://schema.org/","@type":"WPHeader","@id":"pmpr.ir%2F#WPHeader","cssSelector":"#site_header"}{"@context":"http://schema.org/","@type":"WPFooter","@id":"pmpr.ir%2F#WPFooter","cssSelector":"#site_footer"}{"@context":"http://schema.org/","@type":"BlogPosting","@id":"pmpr.ir%2Fweb-scrapping%2F#BlogPosting","wordCount":354,"articleBody":"Data Scraping \u06cc\u0627 \u062a\u0631\u0627\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u06a9\u0627\u0631\u06cc\u0647 \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u0627\u0648\u0646 \u0631\u0648 \u06a9\u0627\u0645\u0644\u0627\u064b \u0645\u0633\u0626\u0648\u0644\u0627\u0646\u0647 \u0648 \u062f\u0631\u0633\u062a \u0627\u0646\u062c\u0627\u0645 \u0628\u062f\u06cc\u0646 \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u0628\u0627\u06cc\u062f \u062f\u0631 \u0645\u0648\u0631\u062f \u0648\u0628\u0633\u0627\u06cc\u062a\u06cc \u06a9\u0647 \u0642\u0631\u0627\u0631\u0647 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06cc\u0627 \u0627\u0635\u0637\u0644\u0627\u062d\u0627\u064b \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06a9\u0646\u06cc\u0646 \u0628\u0633\u06cc\u0627\u0631 \u0645\u062d\u062a\u0627\u0637 \u0628\u0627\u0634\u06cc\u0646 \u0686\u0648\u0646 \u062f\u0631 \u063a\u06cc\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0627\u06cc\u0646 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0645\u06cc\u062a\u0648\u0646\u0647 \u0627\u062b\u0631\u0627\u062a \u0645\u0646\u0641\u06cc \u0628\u0631 \u0631\u0648\u06cc \u0648\u0628 \u0633\u0627\u06cc\u062a \u0645\u0648\u0631\u062f\u0646\u0638\u0631 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u0647.\r\n\r\n\u0627\u0645\u0631\u0648\u0632\u0647 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u0631\u0647\u0627\u06cc \u0632\u06cc\u0627\u062f\u06cc \u062a\u0648\u06cc \u0628\u0627\u0632\u0627\u0631 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u0646 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u0646 \u0628\u062f\u0648\u0646 \u0627\u0646\u0633\u062f\u0627\u062f \u0648 \u0628\u0644\u0627\u06a9\u060c \u0647\u0631 \u0648\u0628\u0633\u0627\u06cc\u062a\u06cc \u0631\u0648 \u0628\u0647 \u0631\u0627\u062d\u062a\u06cc \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06a9\u0646\u0646. \u0627\u0644\u0628\u062a\u0647 \u062c\u0627\u0644\u0628 \u062a\u0648\u062c\u0647 \u0647\u0633\u062a \u06a9\u0647 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u062f\u0631 \u062e\u0648\u062f\u0634\u0648\u0646 \u0647\u06cc\u0686 \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645 \u0636\u062f \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af\u06cc \u0646\u062f\u0627\u0631\u0646 \u0627\u0645\u0627 \u0628\u0631\u062e\u0644\u0627\u0641 \u0627\u0648\u0646\u0647\u0627 \u0628\u0631\u062e\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0647\u0633\u062a\u0646 \u06a9\u0647 \u0639\u0645\u0644 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0631\u0648 \u0628\u0644\u0627\u06a9 \u0645\u06cc\u06a9\u0646\u0646 \u0686\u0648\u0646 \u0627\u0639\u062a\u0642\u0627\u062f\u06cc \u0628\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0622\u0632\u0627\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0646\u062f\u0627\u0631\u0646.\r\n\r\n\u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0648\u0627\u0631\u062f\u06cc \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u062d\u062a\u0645\u0627\u064b \u0628\u0647 \u062e\u0627\u0637\u0631 \u0628\u0633\u067e\u0631\u06cc\u0646\u060c \u0632\u06cc\u0628\u0627 \u0628\u0648\u062f\u0646 \u0648 \u062f\u0646\u0628\u0627\u0644 \u06a9\u0631\u062f\u0646 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0633\u062a.\r\n\r\n\u0627\u06af\u0647 \u0647\u0645\u200c \u0627\u06a9\u0646\u0648\u0646 \u062f\u0631 \u062d\u0627\u0644 \u0633\u0627\u062e\u062a\u0646 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0628\u0631\u0627\u06cc \u067e\u0631\u0648\u0698\u0647 \u06cc\u0627 \u0634\u0631\u06a9\u062a \u062e\u0648\u062f\u062a\u0648\u0646 \u0647\u0633\u062a\u06cc\u0646\u060c \u0628\u0627\u06cc\u062f \u0642\u0628\u0644 \u0627\u0632 \u0634\u0631\u0648\u0639 \u0628\u0647 \u0627\u0633\u06a9\u0631\u067e \u06a9\u0631\u062f\u0646 \u0647\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a\u060c \u0627\u06cc\u0646 7 \u0646\u06a9\u062a\u0647 \u0631\u0648 \u06a9\u0647 \u0645\u0627 \u0627\u06cc\u0646\u062c\u0627 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0622\u0645\u0627\u062f\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u062f\u0646\u0628\u0627\u0644 \u06a9\u0646\u06cc\u0646.\r\n\r\n\u067e\u0633 \u067e\u06cc\u0634 \u0628\u0647 \u0633\u0648\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0646\u06a9\u0627\u062a \u0644\u0627\u0632\u0645\u0647:\r\n1. ROBOTS.TXT\r\n\u0627\u0648\u0644 \u0627\u0632 \u0647\u0645\u0647\u060c \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u0628\u062f\u0648\u0646\u06cc\u0646 \u06a9\u0647 \u0641\u0627\u06cc\u0644 Robots.txt \u0686\u06cc\u0647 \u0648 \u0686\u0647 \u0639\u0645\u0644\u06a9\u0631\u062f\u06cc \u062f\u0627\u0631\u0647.\r\n\r\nRobots.txt \u0647\u0627 \u062f\u0631 \u0627\u0635\u0644 \u0647\u0645\u0648\u0646 \u062e\u0632\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0647\u0633\u062a\u0646 \u06a9\u0647 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u0647 \u062e\u0632\u0646\u062f\u0647\u060c \u0635\u0641\u062d\u0627\u062a \u06cc\u0627 \u067e\u0631\u0648\u0646\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0631\u0648 \u06cc\u0627 \u0645\u06cc\u062a\u0648\u0646\u0646 \u06cc\u0627 \u0646\u0645\u06cc\u062a\u0648\u0646\u0646 \u0627\u0632 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0646\u0646. \u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u0639\u0645\u062f\u062a\u0627\u064b \u0628\u0631\u0627\u06cc \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0628\u06cc\u0634 \u0627\u0632 \u062d\u062f \u0647\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0628\u0627 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u062e\u0632\u0646\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u0634\u0647.\r\n\r\n\u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 Robots.txt \u0642\u0648\u0627\u0646\u06cc\u0646 \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f\u06cc \u0631\u0648 \u062f\u0631 \u0645\u0648\u0631\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0647\u0645 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u062f\u0647 \u06a9\u0647 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0628\u0627 \u062f\u0627\u0634\u062a\u0646 \u0639\u0628\u0627\u0631\u062a Robots.txt \u062f\u0631 \u0627\u0633\u0644\u0627\u06af \u062e\u0648\u062f\u0634\u0648\u0646 \u0628\u0647 \u06af\u0648\u06af\u0644\u00a0 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u062f\u0646 \u062a\u0627 \u0627\u0648\u0646\u0647\u0627 \u0631\u0648 \u0627\u0633\u06a9\u0631\u067e \u06cc\u0627 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06a9\u0646\u0647.\r\n\r\n\u06af\u0627\u0647\u06cc \u0627\u0648\u0642\u0627\u062a \u0628\u0631\u062e\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 User-agent \u06cc\u0627 Disallow \u0631\u0648 \u062f\u0631 \u0641\u0627\u06cc\u0644 Robots.txt \u062e\u0648\u062f\u0634\u0648\u0646 \u062f\u0627\u0631\u0646 \u06a9\u0647 \u0628\u0647 \u0645\u0639\u0646\u06cc \u0631\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648 \u0628\u0644\u0627\u06a9 \u0627\u0648\u0646 \u0628\u0631\u0627\u06cc \u0648\u0628\u0633\u0627\u06cc\u062a \u062e\u0648\u062f\u0634\u0648\u0646 \u0647\u0633\u062a.\r\n\r\n\u0627\u0633\u0627\u0633\u0627\u064b \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645 \u0636\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u0631 \u0627\u0633\u0627\u0633 \u06cc\u0647 \u0642\u0627\u0646\u0648\u0646 \u06a9\u0644\u06cc \u06a9\u0627\u0631 \u0645\u06cc\u06a9\u0646\u0647 \u06a9\u0647 \u0628\u0647 \u0633\u0648\u0627\u0644 \u0622\u06cc\u0627 \u0627\u06cc\u0646 \u06cc\u06a9 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u0631 \u06cc\u0647 \u0631\u0628\u0627\u062a \u0627\u0633\u062a \u06cc\u0627 \u06cc\u0647 \u0627\u0646\u0633\u0627\u0646\u060c \u0628\u0627\u06cc\u062f \u067e\u0627\u0633\u062e \u0628\u062f\u0647.\r\n\r\n\u0628\u0631\u0627\u06cc \u062a\u062c\u0632\u06cc\u0647 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u0642\u0627\u0646\u0648\u0646 \u0648 \u062a\u0635\u0645\u06cc\u0645 \u06af\u06cc\u0631\u06cc \u0631\u0627\u0686\u0639 \u0628\u0647 \u0627\u0648\u0646 \u0628\u0627\u06cc\u062f \u0627\u0632 \u0645\u0639\u06cc\u0627\u0631\u0647\u0627\u06cc \u062e\u0627\u0635\u06cc \u067e\u06cc\u0631\u0648\u06cc \u0628\u0634\u0647. \u0627\u06cc\u0646\u062c\u0627 \u0645\u0627 \u062f\u0644\u0627\u06cc\u0644\u06cc \u062f\u0627\u0631\u06cc\u0645 \u06a9\u0647 \u0628\u0627\u0639\u062b \u0627\u0631\u062c\u0627\u0639 \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645 \u0636\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u0647 \u0641\u0627\u06cc\u0644 Robots.txt \u0645\u06cc\u0634\u0646. \u0628\u0647 \u0639\u0628\u0627\u0631\u062a\u06cc \u0633\u0627\u062f\u0647\u200c\u062a\u0631 \u062f\u0644\u0627\u06cc\u0644\u06cc \u06a9\u0647 \u0645\u0627\u0646\u0639 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0648 \u0628\u0644\u0627\u06a9 \u0627\u0648\u0646 \u0645\u06cc\u0634\u0646:\r\n\r\n \t\u0627\u06af\u0647 \u062f\u0631 \u062d\u0627\u0644 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0635\u0641\u062d\u0627\u062a\u060c \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0632 \u062d\u062f \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u06cc\u0647 \u0627\u0646\u0633\u0627\u0646 \u0639\u0645\u0644 \u06a9\u0646\u06cc\u0646 \u062f\u0631 \u062f\u0633\u062a\u0647 \"\u0631\u0628\u0627\u062a \u0647\u0627\" \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u06af\u06cc\u0631\u06cc\u0646.\r\n \t\u0627\u06af\u0647 \u0647\u0646\u06af\u0627\u0645 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0627\u0632 \u06cc\u0647 \u0627\u0644\u06af\u0648 \u06cc\u06a9\u0633\u0627\u0646 \u067e\u06cc\u0631\u0648\u06cc \u06a9\u0646\u06cc\u0646. \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u0645\u062b\u0627\u0644\u060c \u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u062c\u0645\u0639 \u0622\u0648\u0631\u06cc \u062a\u0635\u0627\u0648\u06cc\u0631 \u06cc\u0627 \u067e\u06cc\u0648\u0646\u062f\u0647\u0627 \u0627\u0632 \u0647\u0631 \u0635\u0641\u062d\u0647 \u0627\u0632\u00a0 \u06cc\u0647 \u062f\u0627\u0645\u0646\u0647 \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646.\r\n \t\u0627\u06af\u0647 \u0628\u0631\u0627\u06cc \u0645\u062f\u062a \u0632\u0645\u0627\u0646 \u0645\u0634\u062e\u0635\u06cc \u0627\u0632 IP \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646.\r\n \tUser-Agent \u0645\u0648\u062c\u0648\u062f \u0646\u0628\u0627\u0634\u0647. \u0645\u0645\u06a9\u0646\u0647 \u06a9\u0647 \u0634\u0645\u0627 \u0627\u0632 \u06cc\u0647 \u0645\u0631\u0648\u0631\u06af\u0631 \u0628\u062f\u0648\u0646 \u0633\u0631\u0628\u0631\u06af \u0645\u0627\u0646\u0646\u062f \u0645\u0631\u0648\u0631\u06af\u0631 Tor \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u06a9\u0646\u06cc\u0646.\r\n\r\n\u0627\u06af\u0647 \u0627\u06cc\u0646 \u0646\u06a9\u0627\u062a \u0631\u0648 \u0647\u0646\u06af\u0627\u0645 \u0627\u0633\u06a9\u0631\u067e \u06cc\u06a9 \u0648\u0628 \u0633\u0627\u06cc\u062a \u062f\u0631 \u0630\u0647\u0646 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0646 \u0648 \u0631\u0639\u0627\u06cc\u062a \u0639\u062f\u0645 \u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u0648\u0646\u0647\u0627 \u0631\u0648 \u0628\u0647 \u062e\u0627\u0637\u0631 \u0628\u0633\u067e\u0631\u06cc\u0646\u060c \u0645\u0627 \u06a9\u0627\u0645\u0644\u0627\u064b \u0645\u0637\u0645\u0626\u0646 \u0647\u0633\u062a\u06cc\u0645 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0647\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a\u06cc \u0631\u0648 \u0628\u0647 \u0633\u0627\u062f\u06af\u06cc \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06a9\u0646\u06cc\u0646.\r\n2. IP Rotation \u06cc\u0627 \u0686\u0631\u062e\u0634 IP\r\n\u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u0633\u0627\u062f\u0647\u200c\u062a\u0631\u06cc\u0646 \u0631\u0627\u0647 \u0628\u0631\u0627\u06cc \u0631\u0641\u0639 \u0628\u0644\u0627\u06a9 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0647\u0633\u062a (\u0628\u0647 \u0628\u0627\u0644\u0627 \u06cc\u0647 \u0646\u06af\u0627\u0647 \u0628\u0646\u062f\u0627\u0632\u06cc\u0646). \u0628\u0647 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u06a9\u0647 \u0627\u06af\u0647 \u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u0647\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0627\u0632 IP \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u0628\u0644\u0627\u06a9 \u062e\u0648\u0627\u0647\u06cc\u0646 \u0634\u062f \u0627\u0645\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 IP \u0647\u0627\u06cc \u062c\u062f\u06cc\u062f\u060c \u0631\u0627\u0647\u200c\u062d\u0644 \u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u062f\u0627\u0634\u062a\u0646 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0645\u0648\u0641\u0642\u06cc\u062a \u0622\u0645\u06cc\u0632 \u0647\u0633\u062a.\r\n\r\n\u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0628\u0644\u0627\u06a9 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0627\u0632 \u062e\u062f\u0645\u0627\u062a \u0686\u0631\u062e\u0627\u0646 \u067e\u0631\u0627\u06a9\u0633\u06cc \u0645\u0627\u0646\u0646\u062f Scrapingdog \u06cc\u0627 \u0633\u0627\u06cc\u0631 \u062e\u062f\u0645\u0627\u062a \u067e\u0631\u0627\u06a9\u0633\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646. \r\n\r\n\u0645\u0627 \u0627\u06cc\u0646\u062c\u0627 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u06cc\u0647 \u0642\u0637\u0639\u0647 \u06a9\u062f \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u06cc\u0645 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u0647 \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0627\u06cc \u0627\u0632 IP \u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0631\u0648 \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0634\u0645\u0627 \u0628\u0630\u0627\u0631\u0647:\r\n\r\n\r\n\r\n\u0627\u06cc\u0646 \u06a9\u062f \u06cc\u0647 \u067e\u0627\u0633\u062e JSON \u0628\u0627 \u0633\u0647 \u0648\u06cc\u0698\u06af\u06cc IP\u060c \u067e\u0648\u0631\u062a \u0648 \u06a9\u0634\u0648\u0631 \u0631\u0648 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u06a9\u0646\u0647 \u06a9\u0647 \u062f\u0631 \u0648\u0627\u0642\u0639 \u0627\u06cc\u0646 API \u067e\u0631\u0648\u06a9\u0633\u06cc\u060c IP \u0647\u0627\u06cc \u0645\u062a\u0646\u0627\u0633\u0628 \u0628\u0627 \u06a9\u062f \u06a9\u0634\u0648\u0631 \u0631\u0648 \u062f\u0627\u0631\u0647 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u062f\u0647.\r\n\r\n\u0627\u0645\u0627 \u0628\u0631\u0627\u06cc \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627\u06cc\u06cc \u06a9\u0647 \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645 \u067e\u06cc\u0634\u0631\u0641\u062a\u0647 \u0631\u0628\u0627\u062a \u06cc\u0627\u0628\u06cc \u062f\u0627\u0631\u0646\u060c \u0628\u0627\u06cc\u062f \u0627\u0632 \u067e\u0631\u0627\u06a9\u0633\u06cc\u200c\u0647\u0627\u06cc \u062a\u0644\u0641\u0646 \u0647\u0645\u0631\u0627\u0647 \u06cc\u0627 \u0645\u0633\u06a9\u0648\u0646\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u0627\u0644\u0628\u062a\u0647 \u062f\u0648\u0628\u0627\u0631\u0647 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0627\u0632 Scrapingdog \u0647\u0645 \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0686\u0646\u06cc\u0646 \u062e\u062f\u0645\u0627\u062a\u06cc \u0628\u0647\u0631\u0647\u200c\u0645\u0646\u062f \u0628\u0634\u06cc\u0646.\r\n\r\n\u062a\u0639\u062f\u0627\u062f IP \u0647\u0627\u06cc \u062c\u0647\u0627\u0646 \u062b\u0627\u0628\u062a \u0627\u0633\u062a \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627 \u0628\u0647 \u0645\u06cc\u0644\u06cc\u0648\u0646 \u0647\u0627 IP \u062f\u0633\u062a\u0631\u0633\u06cc \u062e\u0648\u0627\u0647\u06cc\u0646 \u062f\u0627\u0634\u062a \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u0646 \u0628\u0631\u0627\u06cc \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0645\u06cc\u0644\u06cc\u0648\u0646 \u0647\u0627 \u0635\u0641\u062d\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0628\u0634\u0646. \u0627\u06cc\u0646 \u0628\u0647\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631\u06cc\u0647 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0628\u0631\u0627\u06cc \u06cc\u0647 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0645\u0648\u0641\u0642\u06cc\u062a \u0622\u0645\u06cc\u0632 \u0628\u0647 \u0645\u062f\u062a \u0632\u0645\u0627\u0646 \u0637\u0648\u0644\u0627\u0646\u06cc\u200c\u062a\u0631\u06cc \u0627\u0646\u062c\u0627\u0645 \u0628\u062f\u06cc\u0646.\r\nUser_Agent .3 \u06cc\u0627 \u0646\u0645\u0627\u06cc\u0646\u062f\u0647 \u06a9\u0627\u0631\u0628\u0631\r\n\u062f\u0631\u062e\u0648\u0627\u0633\u062a User-Agent \u06cc\u06a9 \u0631\u0634\u062a\u0647 \u0646\u0648\u06cc\u0633\u0647 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0633\u0631\u0648\u0631\u0647\u0627 \u0648 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0645\u0634\u0627\u0628\u0647 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u062f\u0647 \u062a\u0627 \u0628\u0631\u0646\u0627\u0645\u0647\u060c \u0633\u06cc\u0633\u062a\u0645 \u0639\u0627\u0645\u0644\u060c \u0641\u0631\u0648\u0634\u0646\u062f\u0647 \u0648 \u06cc\u0627 \u0646\u0633\u062e\u0647 \u0646\u0645\u0627\u06cc\u0646\u062f\u0647 \u06a9\u0627\u0631\u0628\u0631\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0646\u0646\u062f\u0647 \u0631\u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u06a9\u0646\u0646.\r\n\r\n\u0628\u0631\u062e\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0648\u0642\u062a\u06cc \u0645\u06cc\u0628\u06cc\u0646\u0646 \u06a9\u0647 \u0628\u0631\u062e\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u200c\u0647\u0627\u200c \u062d\u0627\u0648\u06cc User-Agent \u0646\u06cc\u0633\u062a\u0646\u060c \u0627\u0648\u0646\u0647\u0627 \u0631\u0648 \u0628\u0647 \u0645\u0646\u0632\u0644\u0647 \u062a\u0639\u0644\u0642 \u0646\u062f\u0627\u0634\u062a\u0646 \u0628\u0647 \u0645\u0631\u0648\u0631\u06af\u0631 \u0627\u0635\u0644\u06cc \u062a\u0644\u0642\u06cc \u0648 \u0628\u0644\u0627\u06a9\u0634\u0648\u0646 \u0645\u06cc\u06a9\u0646\u0646.\r\n\r\n\u0628\u0647 \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0646 \u06a9\u0647 \u0627\u06af\u0647 User-Agent \u0647\u0627 \u0628\u0647 \u062f\u0631\u0633\u062a\u06cc \u062a\u0646\u0638\u06cc\u0645 \u0646\u0634\u062f\u0647 \u0628\u0627\u0634\u0646\u060c \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0627\u062c\u0627\u0632\u0647 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u062d\u062a\u0648\u0627\u06cc \u0627\u0648\u0646\u0647\u0627 \u0631\u0648 \u0628\u0647 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u0631\u0647\u0627 \u0646\u0645\u06cc\u062f\u0646.\r\n\r\n\u062a\u0627 \u062d\u062f\u0648\u062f\u06cc\u00a0\u0628\u0644\u0627\u06a9 \u06a9\u0631\u062f\u0646 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0647\u0645 \u0645\u0627\u0646\u0646\u062f \u0628\u062e\u0634 \u0642\u0628\u0644\u06cc\u0647 \u06cc\u0639\u0646\u06cc \u0627\u06af\u0647 \u0645\u062b\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 IP \u0647\u0627\u06cc \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0632 User-Agent \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u0628\u0644\u0627\u06a9 \u062e\u0648\u0627\u0647\u06cc\u0646 \u0634\u062f. \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u06cc\u0627 \u0628\u0627\u06cc\u062f \u06cc\u0647 \u0644\u06cc\u0633\u062a \u0627\u0632 User-Agent \u0647\u0627 \u0628\u0633\u0627\u0632\u06cc\u0646 \u06cc\u0627 \u0645\u062b\u0644 \u0645\u0635\u0631\u0641\u200c\u06a9\u0646\u0646\u062f\u06af\u0627\u0646 \u062c\u0639\u0644\u06cc \u062f\u0633\u062a \u0628\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0644\u06cc\u0633\u062a\u200c\u0647\u0627\u06cc \u0622\u0645\u0627\u062f\u0647 \u0628\u0632\u0646\u06cc\u0646 \u06a9\u0647 \u062e\u0628 \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0622\u0645\u062f \u0628\u0648\u062f\u0646 \u06a9\u0627\u0631 \u0628\u0647\u062a\u0631\u0647 \u0627\u0632 \u0647\u0645\u0648\u0646 \u0644\u06cc\u0633\u062a\u200c\u0647\u0627\u06cc \u0622\u0645\u0627\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646!!! \u0627\u0632 \u0646\u0638\u0631 \u0645\u0627 \u06a9\u0647 \u062f\u0648 \u0631\u0648\u0634 \u0631\u0648 \u0627\u0645\u062a\u062d\u0627\u0646 \u06a9\u0631\u062f\u06cc\u0645 \u0645\u0648\u0631\u062f\u06cc \u0646\u062f\u0627\u0631\u0647:)\r\n4. \u06a9\u0627\u0647\u0634 \u0633\u0631\u0639\u062a \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648 \u062d\u0641\u0638 \u0641\u0627\u0635\u0644\u0647\u200c\u0647\u0627\u06cc \u062a\u0635\u0627\u062f\u0641\u06cc\r\n\u062e\u0628 \u0647\u0645\u0648\u0646\u0637\u0648\u0631 \u06a9\u0647 \u0645\u0634\u062e\u0635\u0647 \u0633\u0631\u0639\u062a \u062e\u0632\u06cc\u062f\u0646 \u0648\u0628\u0633\u0627\u06cc\u062a \u0647\u0627 \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a\u200c\u0647\u0627 \u0648 \u0627\u0646\u0633\u0627\u0646\u200c\u0647\u0627 \u0645\u062a\u0641\u0627\u0648\u062a\u0647 \u0648 \u0628\u0647 \u0637\u0648\u0631 \u0642\u0637\u0639 \u0631\u0628\u0627\u062a\u200c\u0647\u0627 \u0633\u0631\u0639\u062a \u0628\u0627\u0644\u0627\u062a\u0631\u06cc \u062f\u0631 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06a9 \u06a9\u0631\u062f\u0646 \u0647\u0645 \u062f\u0627\u0631\u0646. \u062d\u0627\u0644\u0627 \u0646\u06a9\u062a\u0647 \u0645\u0647\u0645 \u0627\u06cc\u0646\u062c\u0627\u0633\u062a \u06a9\u0647 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u063a\u06cc\u0631\u0636\u0631\u0648\u0631\u06cc \u0648 \u062a\u0635\u0627\u062f\u0641\u06cc \u0633\u0627\u06cc\u062a \u0647\u0627 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u0646 \u06a9\u0644 \u0633\u0627\u06cc\u062a \u0631\u0648 \u0627\u0632 \u06a9\u0627\u0631 \u0628\u0646\u062f\u0627\u0632\u0646 \u0627\u0635\u0644\u0627\u064b \u0628\u0647 \u0646\u0641\u0639 \u0647\u06cc\u0686 \u0686\u06cc\u0632 \u0648 \u0647\u06cc\u0686 \u06a9\u0633 \u0646\u06cc\u0633\u062a\u0646.\r\n\r\n\u0628\u0631\u0627\u06cc \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u0627\u0634\u062a\u0628\u0627\u0647 \u0628\u06cc\u0627\u06cc\u0646 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u062e\u0648\u062f\u062a\u0648\u0646 \u06cc\u0647 \u0628\u0631\u0646\u0627\u0645\u0647 \u062a\u0639\u0631\u06cc\u0641 \u06a9\u0646\u06cc\u0646. \u0627\u06cc\u0646\u0637\u0648\u0631\u06cc \u0628\u0627\u0639\u062b \u0645\u06cc\u0634\u0647 \u06a9\u0647 \u0628\u0631 \u0627\u0633\u0627\u0633 \u0642\u0627\u0646\u0648\u0646 \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645 \u0636\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u06a9\u0647 \u062a\u0648 \u0645\u0648\u0631\u062f \u0627\u0648\u0644 \u062a\u0648\u0636\u06cc\u062d \u062f\u0627\u062f\u06cc\u0645\u060c \u0631\u0628\u0627\u062a \u0634\u0645\u0627 \u0628\u0647 \u0627\u0646\u0633\u0627\u0646 \u0634\u0628\u0627\u0647\u062a \u067e\u0628\u062f\u0627 \u06a9\u0646\u0647 \u0648 \u0627\u06cc\u0646 \u0634\u06a9\u0644\u06cc \u0628\u0647 \u0648\u0628\u0633\u0627\u06cc\u062a \u0647\u0645 \u0622\u0633\u06cc\u0628\u06cc \u0632\u062f\u0647 \u0646\u0645\u06cc\u0634\u0647 \u0648 \u06a9\u0627\u0631 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u0647 \u062f\u0631\u0633\u062a\u06cc \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u0633\u0647.\r\n\r\n\u0628\u0631\u0646\u0627\u0645\u0647 \u062a\u0639\u0631\u06cc\u0641 \u0634\u062f\u0647 \u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u0628\u0647 \u0627\u06cc\u0646 \u0634\u06a9\u0644 \u0628\u0627\u06cc\u062f \u0628\u0627\u0634\u0647 \u06a9\u0647 \u0634\u0645\u0627 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u0647\u0645\u0632\u0645\u0627\u0646 \u0628\u0627 \u062a\u0639\u062f\u0627\u062f \u0635\u0641\u062d\u0627\u062a \u06a9\u0645\u062a\u0631\u06cc \u0631\u0648 \u0628\u0647 \u0645\u0646\u0638\u0648\u0631 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0631\u0628\u0627\u062a \u0642\u0631\u0627\u0631 \u0645\u06cc\u062f\u06cc\u0646\u061b \u0633\u067e\u0633 \u0641\u0627\u0635\u0644\u0647 \u0632\u0645\u0627\u0646\u06cc 10 \u062a\u0627 20 \u062b\u0627\u0646\u0628\u0647 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u0627\u0646\u0633\u0627\u0646\u200c\u0646\u0645\u0627 \u062f\u0631 \u0646\u0638\u0631 \u0645\u06cc\u06af\u06cc\u0631\u06cc\u0646 \u062a\u0627 \u0628\u0647 \u0627\u0633\u06a9\u0631\u067e \u06a9\u0631\u062f\u0646 \u0627\u062f\u0627\u0645\u0647 \u0628\u062f\u0647. \u0648 \u0627\u0644\u0628\u062a\u0647 \u062d\u0648\u0627\u0633\u062a\u0648\u0646 \u0628\u0647 \u0641\u0627\u06cc\u0644 Robots.txt \u0647\u0645 \u0628\u0627\u06cc\u062f \u0628\u0627\u0634\u0647.\r\n\r\n\u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc \u06a9\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u062d\u0648\u0632\u0647 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u0647 \u0627\u06cc\u0646\u0647 \u06a9\u0647 \u0627\u0632 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u0647\u0627\u06cc \u062e\u0648\u062f\u06a9\u0627\u0631 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u06a9\u0647 \u0633\u0631\u0639\u062a \u062e\u0632\u06cc\u062f\u0646 \u0648\u0628 \u0631\u0648 \u0628\u0631 \u0627\u0633\u0627\u0633 \u0628\u0627\u0631 \u0639\u0646\u06a9\u0628\u0648\u062a \u0648 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0645\u0648\u0631\u062f\u0646\u0638\u0631 \u0634\u0645\u0627 \u0628\u0647 \u0637\u0648\u0631 \u062e\u0648\u062f\u06a9\u0627\u0631 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u062f\u0647. \u0639\u0646\u06a9\u0628\u0648\u062a \u0631\u0648 \u067e\u0633 \u0627\u0632 \u0686\u0646\u062f \u0622\u0632\u0645\u0627\u06cc\u0634\u060c \u0628\u0627 \u0633\u0631\u0639\u062a \u062e\u0632\u06cc\u062f\u0646 \u0628\u0647\u06cc\u0646\u0647 \u062a\u0646\u0638\u06cc\u0645 \u0648 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u06a9\u0646\u06cc\u0646. \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0631\u0648 \u0628\u0647 \u0635\u0648\u0631\u062a \u062f\u0648\u0631\u0647 \u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0628\u062f\u06cc\u0646 \u0686\u0648\u0646 \u0628\u0627 \u06af\u0630\u0634\u062a \u0632\u0645\u0627\u0646 \u0645\u062d\u06cc\u0637 \u062a\u063a\u06cc\u06cc\u0631 \u0645\u06cc\u06a9\u0646\u0647.\r\n\r\n\r\n5. \u062a\u063a\u06cc\u06cc\u0631 \u062f\u0631 \u0627\u0644\u06af\u0648\u06cc \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u062a\u063a\u06cc\u06cc\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a\r\n\u0628\u0647 \u0637\u0648\u0631 \u06a9\u0644\u06cc\u060c \u0627\u0646\u0633\u0627\u0646\u200c\u0647\u0627 \u06a9\u0627\u0631\u0647\u0627\u06cc \u062a\u06a9\u0631\u0627\u0631\u06cc \u0631\u0648 \u0627\u0646\u062c\u0627\u0645 \u0646\u0645\u06cc\u062f\u0646 \u0686\u0648\u0646 \u06a9\u0647 \u062a\u0648\u06cc \u0633\u0627\u06cc\u062a \u0628\u0647 \u0637\u0648\u0631 \u062a\u0635\u0627\u062f\u0641\u06cc \u0628\u0627 \u0627\u0648\u0646 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u0645\u0648\u0627\u062c\u0647 \u0645\u06cc\u0634\u0646. \u0627\u0645\u0627 \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0628\u0627 \u0627\u0644\u06af\u0648\u06cc \u06cc\u06a9\u0633\u0627\u0646 \u062e\u0632\u0646\u062f \u0645\u06cc\u0634\u0646 \u0686\u0648\u0646 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632\u06cc \u0634\u062f\u0646. \u0647\u0645\u0648\u0646\u0637\u0648\u0631 \u06a9\u0647 \u0642\u0628\u0644\u0627\u064b \u0647\u0645 \u06af\u0641\u062a\u06cc\u0645 \u0628\u0631\u062e\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645\u200c\u0647\u0627\u06cc \u0636\u062f \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u062e\u0648\u0628\u06cc \u062f\u0627\u0631\u0646 \u0648 \u0628\u0647 \u0631\u0627\u062d\u062a\u06cc \u0631\u0628\u0627\u062a \u0634\u0645\u0627 \u0631\u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u0645\u06cc\u06a9\u0646\u0646\u060c \u0645\u06cc\u06af\u06cc\u0631\u0646 \u0648 \u0627\u0648\u0646 \u0631\u0648 \u0628\u0631\u0627\u06cc \u0647\u0645\u06cc\u0634\u0647 \u0628\u0644\u0627\u06a9 \u0645\u06cc\u06a9\u0646\u0646.\r\n\r\n\u062d\u0627\u0644\u0627 \u0686\u0637\u0648\u0631\u06cc \u0645\u06cc\u0634\u0647 \u0627\u0632 \u0631\u0628\u0627\u062a \u062e\u0648\u062f \u062f\u0631 \u0628\u0631\u0627\u0628\u0631 \u0628\u0644\u0627\u06a9 \u0634\u062f\u0646 \u062a\u0648\u0633\u0637 \u0627\u06cc\u0646 \u0635\u0641\u062d\u0627\u062a \u0636\u062f \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0645\u062d\u0627\u0641\u0638\u062a \u06a9\u0646\u06cc\u0646\u061f\r\n\r\n\u0627\u06cc\u0646 \u0627\u0645\u0631 \u0645\u06cc\u062a\u0648\u0646\u0647 \u0628\u0627 \u062f\u0631 \u0646\u0638\u0631 \u06af\u0631\u0641\u062a\u0646 \u0628\u0631\u062e\u06cc \u06a9\u0644\u06cc\u06a9 \u0647\u0627\u06cc \u062a\u0635\u0627\u062f\u0641\u06cc \u0628\u0631 \u0631\u0648\u06cc \u0635\u0641\u062d\u0647\u060c \u062d\u0631\u06a9\u0627\u062a \u0645\u0627\u0648\u0633 \u0648 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u062a\u0635\u0627\u062f\u0641\u06cc \u06a9\u0647 \u0628\u0627\u0639\u062b \u0645\u06cc\u0634\u0646 \u0639\u0646\u06a9\u0628\u0648\u062a \u0645\u062b\u0644 \u0627\u0646\u0633\u0627\u0646 \u0628\u0647 \u0646\u0638\u0631 \u0628\u0631\u0633\u0647\u060c \u0627\u062a\u0641\u0627\u0642 \u0628\u06cc\u0641\u062a\u0647.\r\n\r\n\u062d\u0627\u0644\u0627 \u06cc\u0647 \u0645\u0634\u06a9\u0644 \u062f\u06cc\u06af\u0647 \u0647\u0645 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u0647\u00a0 \u0648 \u0627\u0648\u0646 \u0645\u0634\u06a9\u0644 \u0627\u06cc\u0646\u0647 \u06a9\u0647 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0628\u0647 \u062f\u0644\u0627\u06cc\u0644 \u0632\u06cc\u0627\u062f\u06cc\u060c \u0686\u06cc\u062f\u0645\u0627\u0646 \u062e\u0648\u062f\u0634\u0648\u0646 \u0631\u0648 \u062a\u063a\u06cc\u06cc\u0631 \u0645\u06cc\u062f\u0646 \u0648 \u0628\u0647 \u0647\u0645\u06cc\u0646 \u062f\u0644\u06cc\u0644 \u0627\u0633\u06a9\u0631\u067e\u0631 \u0634\u0645\u0627 \u0642\u0627\u062f\u0631 \u0628\u0647 \u0622\u0648\u0631\u062f\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0646\u062a\u0638\u0627\u0631 \u0634\u0645\u0627\u00a0 \u0646\u06cc\u0633\u062a. \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u0645\u0646\u0638\u0648\u0631\u060c \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u06cc\u0647 \u0633\u06cc\u0633\u062a\u0645 \u0646\u0638\u0627\u0631\u062a \u06a9\u0627\u0645\u0644 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0646 \u06a9\u0647 \u062a\u063a\u06cc\u06cc\u0631\u0627\u062a \u062f\u0631 \u0686\u06cc\u062f\u0645\u0627\u0646 \u0627\u06cc\u0646 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0631\u0648 \u062a\u0634\u062e\u06cc\u0635 \u0628\u062f\u0647 \u0648 \u0633\u067e\u0633 \u0628\u0627 \u0641\u06a9\u0631\u060c \u0628\u0647 \u0634\u0645\u0627 \u0647\u0634\u062f\u0627\u0631 \u0628\u062f\u0647. \u0628\u0639\u062f \u0627\u0632 \u0627\u0648\u0646 \u0645\u06cc\u0634\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062f\u0631 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u0631 \u062e\u0648\u062f\u062a\u0648\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u062a\u0627 \u0628\u062a\u0648\u0646\u0647 \u0645\u062a\u0646\u0627\u0633\u0628 \u0628\u0627 \u0627\u06cc\u0646 \u0633\u0627\u06cc\u062a \u0647\u0627 \u06a9\u0627\u0631 \u06a9\u0646\u0647.\r\n6.\u0639\u0646\u0648\u0627\u0646 \u0647\u0627 \u06cc\u0627 Headers\r\n\u0648\u0642\u062a\u06cc \u0627\u0632 \u0645\u0631\u0648\u0631\u06af\u0631 \u062e\u0648\u062f \u0628\u0647 \u0648\u0628 \u0633\u0627\u06cc\u062a\u06cc \u067e\u0631\u0633\u0634 \u0648 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06cc\u06a9\u0646\u06cc\u0646\u060c \u0644\u06cc\u0633\u062a\u06cc \u0627\u0632 \u0639\u0646\u0627\u0648\u06cc\u0646 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0627\u0631\u0633\u0627\u0644 \u0645\u06cc\u0634\u0647. \u0642\u0637\u0639\u0627\u064b \u062a\u062c\u0631\u0628\u0647\u200c\u0627\u0634 \u0631\u0627 \u062f\u0627\u0634\u062a\u06cc\u0646 \u06a9\u0647 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0639\u0646\u0648\u0627\u0646\u060c \u0648\u0628 \u0633\u0627\u06cc\u062a \u0645\u0648\u0631\u062f\u0646\u0638\u0631 \u0634\u0645\u0627 \u062a\u062c\u0632\u06cc\u0647 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0645\u06cc\u0634\u0647. \u062d\u0627\u0644\u0627 \u0645\u0627 \u0645\u06cc\u062e\u0648\u0627\u06cc\u0645 \u0628\u0647 \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u0628\u0631\u0633\u06cc\u0645 \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u06a9\u0647 web scrapping\u00a0\u0634\u0645\u0627 \u0627\u0646\u0633\u0627\u0646\u06cc\u200c\u062a\u0631 \u0628\u0647 \u0646\u0638\u0631 \u0628\u0631\u0633\u0647\u060c \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0627\u0632 \u0627\u06cc\u0646 \u0639\u0646\u0648\u0627\u0646\u200c\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646.\r\n\r\n\u0641\u0642\u0637 \u06a9\u0627\u0641\u06cc\u0647 \u06a9\u0647 \u0627\u0648\u0646 \u0639\u0646\u0648\u0627\u0646\u200c\u0647\u0627 \u0631\u0648 \u06a9\u067e\u06cc \u06a9\u0646\u06cc\u0646 \u0648 \u062f\u0631 \u0628\u062e\u0634 \u0639\u0646\u0648\u0627\u0646 \u062e\u0648\u062f \u062f\u0631 \u062f\u0627\u062e\u0644 \u06a9\u062f \u062e\u0648\u062f\u0634 \u062c\u0627\u06cc\u200c\u06af\u0630\u0627\u0631\u06cc \u06a9\u0646\u06cc\u0646. \u0627\u06cc\u0646 \u0627\u0645\u0631 \u0628\u0627\u0639\u062b \u0645\u06cc\u0634\u0647 \u06a9\u0647 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0634\u0645\u0627 \u0627\u0632 \u06cc\u0647 \u0645\u0631\u0648\u0631\u06af\u0631 \u0648\u0627\u0642\u0639\u06cc \u0627\u0631\u0627\u0626\u0647 \u0628\u0634\u0647. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0686\u0631\u062e\u0634 IP \u0648 User-Agent\u060c \u0634\u0645\u0627 \u0635\u0627\u062d\u0628 \u06cc\u0647 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0636\u062f \u0628\u0644\u0627\u06a9 \u062e\u0648\u0627\u0647\u06cc\u0646 \u0634\u062f. \u0634\u0645\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0631\u0648\u0634\u200c\u0647\u0627 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0647\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a\u06cc \u0627\u0639\u0645 \u0627\u0632 \u067e\u0648\u06cc\u0627 \u0648 \u0627\u0633\u062a\u0627\u062a\u06cc\u06a9 \u0631\u0648 \u0628\u0647 \u0633\u0627\u062f\u06af\u06cc \u0627\u0633\u06a9\u0631\u067e \u06a9\u0646\u06cc\u0646.\r\n\r\n\u0645\u0627 \u06a9\u0627\u0645\u0644\u0627\u064b \u0645\u0637\u0645\u0626\u0646 \u0647\u0633\u062a\u06cc\u0645 \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u062a\u06a9\u0646\u06cc\u06a9\u200c\u0647\u0627 \u0642\u0627\u062f\u0631 \u062e\u0648\u0627\u0647\u06cc\u0646 \u0628\u0648\u062f 99.99\u066a \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645\u200c\u0647\u0627\u06cc \u0636\u062f \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0631\u0648 \u0634\u06a9\u0633\u062a \u0628\u062f\u06cc\u0646.\r\n\r\n\u062f\u0631 \u062d\u0627\u0644 \u062d\u0627\u0636\u0631\u060c \u06cc\u0647 \u0639\u0646\u0648\u0627\u0646 \"\u0645\u0631\u062c\u0639\" \u0628\u0631\u0627\u06cc \u06a9\u0645\u06a9 \u0628\u0647 \u0634\u0645\u0627 \u062f\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u062f\u0631\u0633\u062a \u0639\u0646\u0648\u0627\u0646 \u0627\u0632 \u0628\u06cc\u0646 \u0627\u0646\u0648\u0627\u0639 \u0639\u0646\u0648\u0627\u0646\u200c\u0647\u0627\u00a0\u0648\u062c\u0648\u062f \u062f\u0627\u0631\u0647. \u0627\u06cc\u0646 \u06cc\u0647 \u0639\u0646\u0648\u0627\u0646 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc HTTP \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0633\u0627\u06cc\u062a \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u062f\u0647 \u06a9\u0647 \u0645\u0637\u0644\u0639 \u0628\u0634\u0647 \u0634\u0645\u0627 \u0628\u0627 \u0686\u0647 \u0645\u0631\u0648\u0631\u06af\u0631\u06cc \u0648\u0627\u0631\u062f \u0633\u0627\u06cc\u062a \u0645\u0648\u0631\u062f\u0646\u0638\u0638\u0631 \u062e\u0648\u062f\u062a\u0648\u0646 \u0634\u062f\u06cc\u0646. \u0628\u0647 \u0637\u0648\u0631 \u06a9\u0644\u06cc\u060c \u0628\u0647\u062a\u0631\u0647 \u06a9\u0647 \u0627\u06cc\u0646 \u0639\u0646\u0648\u0627\u0646 \u0631\u0648 \u0628\u0647 \u06af\u0648\u0646\u0647\u200c\u0627\u06cc \u062a\u0646\u0638\u06cc\u0645 \u06a9\u0646\u06cc\u0646 \u06a9\u0647 \u0628\u0647 \u0646\u0638\u0631 \u0628\u0631\u0633\u0647 \u062f\u0627\u0631\u06cc\u0646 \u0627\u0632 Google \u0648\u0627\u0631\u062f \u0633\u0627\u06cc\u062a \u0645\u06cc\u0634\u06cc\u0646 \u06a9\u0647 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0631\u0648 \u0628\u0647 \u0634\u06a9\u0644 \u0632\u06cc\u0631 \u0627\u0646\u062c\u0627\u0645 \u0628\u062f\u06cc\u0646:\r\n\r\n\"\u0645\u0631\u062c\u0639\": \"https://www.google.com/\"\r\n\r\n\u0627\u06af\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u06cc\u0646 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627\u06cc \u0645\u0633\u062a\u0642\u0631 \u062f\u0631 \u0627\u0646\u06af\u0644\u0633\u062a\u0627\u0646 \u06cc\u0627 \u0647\u0646\u062f \u0631\u0648 \u0627\u0633\u06a9\u0631\u067e \u06a9\u0646\u06cc\u0646\u060c \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0622\u062f\u0631\u0633 \u0628\u0627\u0644\u0627 \u0631\u0648 \u0628\u0627 https://www.google.co.uk \u06cc\u0627 google.in \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u06a9\u0646\u06cc\u0646. \u0628\u0627 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0634\u0645\u0627 \u0645\u0639\u062a\u0628\u0631\u062a\u0631 \u0648 \u0627\u0631\u06af\u0627\u0646\u06cc\u06a9\u200c\u062a\u0631 \u0628\u0647 \u0646\u0638\u0631 \u0645\u06cc\u0631\u0633\u0647.\r\n\r\n\u0647\u0645\u0686\u0646\u06cc\u0646 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0628\u0631\u0627\u06cc \u0645\u0639\u062a\u0628\u0631\u062a\u0631 \u06a9\u0631\u062f\u0646 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u062e\u0648\u062f\u062a\u0648\u0646 \u0628\u0647 \u0633\u0631\u0627\u063a \u0645\u062a\u062f\u0627\u0648\u0644\u200c\u062a\u0631\u06cc\u0646 \u0645\u0631\u0627\u062c\u0639\u0647 \u06a9\u0646\u0646\u062f\u06af\u0627\u0646 \u0647\u0631 \u0633\u0627\u06cc\u062a\u06cc \u0628\u0631\u06cc\u0646 \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0645\u06cc\u0634\u0647 \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u06cc \u0645\u0627\u0646\u0646\u062f https://www.sembleweb.com \u06a9\u0647 \u0627\u063a\u0644\u0628 \u0628\u0631\u0627\u06cc \u0633\u0627\u06cc\u062a \u0631\u0633\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u0627\u062c\u062a\u0645\u0627\u0639\u06cc \u0645\u0627\u0646\u0646\u062f Youtube \u06cc\u0627 Facebook \u0627\u0633\u062a\u060c \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646.\r\n7. \u0645\u0631\u0648\u0631\u06af\u0631 \u0628\u062f\u0648\u0646 \u0633\u0631 \u06cc\u0627 Headless Browser\r\n\u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0645\u062d\u062a\u0648\u0627\u06cc \u062e\u0648\u062f\u0634\u0648\u0646 \u0631\u0648 \u0628\u0631 \u0627\u0633\u0627\u0633\u00a0 \u0627\u06cc\u0646 \u06a9\u0647 \u0627\u0632 \u06a9\u062f\u0648\u0645 \u0645\u0631\u0648\u0631\u06af\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u06a9\u0646\u06cc\u0646 \u0646\u0645\u0627\u06cc\u0634 \u0645\u06cc\u062f\u0646. \u0628\u0631\u062e\u06cc \u0646\u0645\u0627\u06cc\u0634\u200c\u0647\u0627 \u0628\u0647 \u0637\u0648\u0631 \u0645\u062a\u0641\u0627\u0648\u062a\u06cc \u062f\u0631 \u0645\u0631\u0648\u0631\u06af\u0631\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0646\u0634\u0648\u0646 \u062f\u0627\u062f\u0647 \u0645\u06cc\u0634\u0646.\r\n\r\n\u0628\u06cc\u0627\u06cc\u0646 \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0631\u0648 \u0645\u062b\u0627\u0644 \u0628\u0632\u0646\u06cc\u0645. \u0627\u06af\u0647 \u0645\u0631\u0648\u0631\u06af\u0631\u06cc \u06a9\u0647 \u062a\u0648\u0633\u0637 \u0639\u0627\u0645\u0644 \u06a9\u0627\u0631\u0628\u0631 \u0645\u0634\u062e\u0635 \u0634\u062f\u0647 \u0628\u0627\u0634\u0647 \u0627\u0632 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u0631\u0641\u062a\u0647\u200c\u0627\u06cc \u0628\u0631\u062e\u0648\u0631\u062f\u0627\u0631 \u0628\u0627\u0634\u0647\u060c \u0645\u0645\u06a9\u0646\u0647 \u06a9\u0647 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0645\u062d\u062a\u0648\u0627\u06cc \u063a\u0646\u06cc\u200c\u062a\u0631\u06cc \u0631\u0648 \u0627\u0631\u0627\u0626\u0647 \u0628\u062f\u0647 \u06cc\u0639\u0646\u06cc \u06cc\u0647 \u0686\u06cc\u0632 \u067e\u0648\u06cc\u0627\u062a\u0631 \u0648 \u0633\u0628\u06a9\u200c\u062a\u0631 \u06a9\u0647 \u0645\u0645\u06a9\u0646\u0647 \u0628\u0647 Javascript \u0648 CSS \u0647\u0645 \u0648\u0627\u0628\u0633\u062a\u0647 \u0628\u0627\u0634\u0647.\r\n\r\n\u0645\u0634\u06a9\u0644\u06cc \u06a9\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0648\u0631\u062f \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u0647 \u0627\u06cc\u0646\u0647 \u06a9\u0647 \u0647\u0646\u06af\u0627\u0645 \u0627\u0646\u062c\u0627\u0645 \u0647\u0631 \u0646\u0648\u0639 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af\u060c \u0645\u062d\u062a\u0648\u0627 \u062a\u0648\u0633\u0637 \u06a9\u062f JS \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u0634\u0647 \u06a9\u0647 \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0628\u0631\u062e\u0644\u0627\u0641 \u0627\u0631\u0627\u0626\u0647 \u067e\u0627\u0633\u062e HTML \u062a\u0648\u0633\u0637 \u0633\u0631\u0648\u0631 \u0647\u0633\u062a. \u0628\u0631\u0627\u06cc web scrapping \u0627\u06cc\u0646 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627\u060c \u0645\u0645\u06a9\u0646\u0647 \u0644\u0627\u0632\u0645 \u0628\u0627\u0634\u0647 \u06a9\u0647 \u0645\u0631\u0648\u0631\u06af\u0631 \u0628\u062f\u0648\u0646 \u0633\u0631 \u062e\u0648\u062f\u062a\u0648\u0646 \u0631\u0648 \u0627\u0632 \u0637\u0631\u06cc\u0642 Scrapingdog \u0645\u0633\u062a\u0642\u0631 \u06a9\u0646\u06cc\u0646 (Scrapingdog \u0622\u0686\u0627\u0631 \u0641\u0631\u0627\u0646\u0633\u0647\u200c\u0627\u06cc\u0647 \u0628\u0631\u0627\u06cc \u062e\u0648\u062f\u0634!!).\r\n\r\n\u062c\u0627\u0644\u0628\u0647 \u0628\u062f\u0648\u0646\u06cc\u0646 \u06a9\u0647 \u0645\u0631\u0648\u0631\u06af\u0631\u0647\u0627\u06cc \u0627\u062a\u0648\u0645\u0627\u0633\u06cc\u0648\u0646 \u0645\u0627\u0646\u0646\u062f Selenium \u06cc\u0627 Puppeteer\u060c \u0627\u06cc \u067e\u06cc \u0622\u06cc \u0647\u0627 \u0631\u0648 \u0628\u0631\u0627\u06cc \u06a9\u0646\u062a\u0631\u0644 \u0645\u0631\u0648\u0631\u06af\u0631\u0647\u0627 \u0648 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628\u0633\u0627\u06cc\u062a \u0647\u0627\u06cc \u067e\u0648\u06cc\u0627 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u062f\u0646. \u0628\u0627\u06cc\u062f \u0628\u0647 \u0634\u0645\u0627 \u0628\u06af\u06cc\u0645 \u06a9\u0647 \u062a\u0644\u0627\u0634 \u0632\u06cc\u0627\u062f\u06cc \u0628\u0631\u0627\u06cc \u063a\u06cc\u0631 \u0642\u0627\u0628\u0644 \u062a\u0634\u062e\u06cc\u0635 \u0645\u0627\u0646\u062f\u0646 \u0627\u06cc\u0646 \u0645\u0631\u0648\u0631\u06af\u0631\u0647\u0627 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u0634\u0647 \u0627\u0645\u0627 \u0627\u06cc\u0646 \u0645\u0631\u0648\u0631\u06af\u0631\u0647\u0627\u06cc \u0628\u06cc\u200c\u0633\u0631 \u0645\u0648\u062b\u0631\u062a\u0631\u06cc\u0646 \u0631\u0627\u0647 \u0628\u0631\u0627\u06cc \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628 \u0633\u0627\u06cc\u062a \u0627\u0633\u062a.\r\n\r\n\u062d\u062a\u06cc \u0634\u0645\u0627 \u0645\u06cc\u062a\u0648\u0646\u06cc\u0646 \u0627\u0632 \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u062e\u0627\u0635 \u0628\u062f\u0648\u0646 \u0645\u0631\u0648\u0631\u06af\u0631 \u0647\u0645 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0646 \u062a\u0627 \u0628\u0647 \u0634\u0645\u0627 \u0627\u062c\u0627\u0632\u0647 \u0628\u062f\u0646 \u0628\u0647 \u062c\u0627\u06cc \u0627\u0641\u0632\u0627\u06cc\u0634 \u0628\u0627\u0631 \u0633\u0631\u0648\u0631 \u062e\u0648\u062f\u062a\u0648\u0646\u060c \u0646\u0645\u0648\u0646\u0647\u200c\u0627\u06cc \u0627\u0632 \u0645\u0631\u0648\u0631\u06af\u0631 \u0631\u0648 \u062f\u0631 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u0627\u0648\u0646\u0647\u0627 \u0628\u0627\u0632 \u06a9\u0646\u06cc\u0646. \u062d\u062a\u06cc \u0634\u0645\u0627 \u0642\u0627\u062f\u0631\u06cc\u0646 \u06a9\u0647 \u0628\u06cc\u0634 \u0627\u0632 100 \u0645\u0648\u0631\u062f \u0646\u0645\u0648\u0646\u0647 \u0631\u0648 \u0628\u0647 \u0637\u0648\u0631 \u0647\u0645\u0632\u0645\u0627\u0646 \u062f\u0631 \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u0627\u0648\u0646\u0647\u0627 \u0628\u0627\u0632 \u06a9\u0646\u06cc\u0646. \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u060c \u0647\u0645\u0647 \u0648 \u0647\u0645\u0647 \u06cc\u0647 \u0645\u0632\u06cc\u062a \u0639\u0627\u0644\u06cc \u0628\u0631\u0627\u06cc \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0647\u0633\u062a\u0646.\r\n\r\n\u0627\u0645\u06cc\u062f\u0648\u0627\u0631\u0645 \u0628\u0639\u062f \u0627\u0632 \u0627\u062a\u0645\u0627\u0645 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0646\u06a9\u0627\u062a \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u0628\u0644\u0627\u06a9 \u0646\u0634\u062f\u0646 \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u062e\u0648\u062f\u062a\u0648\u0646 \u0631\u0648 \u0628\u0647 \u062e\u0648\u0628\u06cc \u06cc\u0627\u062f \u06af\u0631\u0641\u062a\u0647 \u0628\u0627\u0634\u06cc\u0646 \u0648 \u062d\u0648\u0627\u0633\u062a\u0648\u0646 \u0647\u0645 \u0628\u0647 \u0641\u0627\u06cc\u0644 Robats.txt \u0628\u0648\u062f\u0647 \u0628\u0627\u0634\u0647. \u0647\u0645\u0686\u0646\u06cc\u0646 \u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0646 \u06a9\u0647 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062e\u0648\u062f\u062a\u0648\u0646 \u0631\u0648 \u0627\u0632 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0648 \u0634\u0631\u06a9\u062a\u200c\u0647\u0627\u06cc \u06a9\u0648\u0686\u06cc\u06a9 \u0646\u062e\u0648\u0627\u06cc\u0646 \u0686\u0648\u0646 \u0627\u0648\u0646\u0647\u0627 \u0628\u0648\u062f\u062c\u0647 \u062e\u0648\u0628\u06cc \u0645\u062b\u0644 \u0634\u0631\u06a9\u062a\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0646\u062f\u0627\u0631\u0646.\r\n\r\n\u0645\u062b\u0644 \u0647\u0645\u06cc\u0634\u0647 \u0645\u0646\u062a\u0638\u0631 \u0646\u0638\u0631\u0627\u062a \u0648 \u0633\u0648\u0627\u0644\u0627\u062a \u0634\u0645\u0627 \u0647\u0633\u062a\u06cc\u0645.","author":{"@type":"Organization","@id":"pmpr.ir%2F#Organization","url":"https://pmpr.ir","name":"\u0645\u0647\u0646\u062f\u0633 \u067e\u06cc\u0645\u0627\u0646 \u0645\u062d\u0645\u062f\u067e\u0648\u0631","description":"\u0645\u0634\u0627\u0648\u0631\u0647\u060c \u0646\u0638\u0627\u0631\u062a \u0648 \u0627\u062c\u0631\u0627 \u062f\u0631 \u0648\u0628"},"publisher":{"@type":"Organization","@id":"pmpr.ir%2F#Organization","url":"https://pmpr.ir","name":"\u0645\u0647\u0646\u062f\u0633 \u067e\u06cc\u0645\u0627\u0646 \u0645\u062d\u0645\u062f\u067e\u0648\u0631","description":"\u0645\u0634\u0627\u0648\u0631\u0647\u060c \u0646\u0638\u0627\u0631\u062a \u0648 \u0627\u062c\u0631\u0627 \u062f\u0631 \u0648\u0628"},"headLine":"\u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u062f\u0648\u0646 \u0628\u0644\u0627\u06a9 \u0634\u062f\u0646 \u062a\u0646\u0647\u0627 \u0628\u0627 \u0631\u0639\u0627\u06cc\u062a \u06f7 \u0646\u06a9\u062a\u0647 \u0637\u0644\u0627\u06cc\u06cc!","datePublished":"2020-09-17T17:00:25+04:30","dateModified":"2020-10-13T12:08:59+03:30","keywords":["web scrapping","\u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648\u0628","\u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af"],"name":"\u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0628\u062f\u0648\u0646 \u0628\u0644\u0627\u06a9 \u0634\u062f\u0646 \u062a\u0646\u0647\u0627 \u0628\u0627 \u0631\u0639\u0627\u06cc\u062a \u06f7 \u0646\u06a9\u062a\u0647 \u0637\u0644\u0627\u06cc\u06cc!","mainEntityOfPage":"https://pmpr.ir/web-scrapping/","image":{"@type":"ImageObject","@id":"s.pmpr.ir%2Fu%2Fpmpr%2FWebp.net-resizeimage-27-1.png%2F4341%2F#ImageObject","width":1200,"height":675,"url":"https://s.pmpr.ir/u/pmpr/Webp.net-resizeimage-27-1.png"},"description":"\u0641\u0647\u0631\u0633\u062a \u0645\u0637\u0627\u0644\u0628 \u0628\u0633\u062a\u0646 \u06f1. ROBOTS.TXT2. IP Rotation \u06cc\u0627 \u0686\u0631\u062e\u0634 IPUser_Agent .3 \u06cc\u0627 \u0646\u0645\u0627\u06cc\u0646\u062f\u0647 \u06a9\u0627\u0631\u0628\u0631\u06f4. \u06a9\u0627\u0647\u0634 \u0633\u0631\u0639\u062a \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648 \u062d\u0641\u0638 \u0641\u0627\u0635\u0644\u0647\u200c\u0647\u0627\u06cc \u062a\u0635\u0627\u062f\u0641\u06cc\u06f5. \u062a\u063a\u06cc\u06cc\u0631 \u062f\u0631 \u0627\u0644\u06af\u0648\u06cc \u0648\u0628 \u0627\u0633\u06a9\u0631\u067e\u06cc\u0646\u06af \u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u062a\u063a\u06cc\u06cc\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a\u06f6.\u0639\u0646\u0648\u0627\u0646 \u0647\u0627 \u06cc\u0627 Headers7. \u0645\u0631\u0648\u0631\u06af\u0631 \u0628\u062f\u0648\u0646 \u0633\u0631 \u06cc\u0627 Headless Browser Data Scraping \u06cc\u0627 \u062a\u0631\u0627\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u06a9\u0627\u0631\u06cc\u0647 \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627\u06cc\u062f \u0627\u0648\u0646 \u0631\u0648 \u06a9\u0627\u0645\u0644\u0627\u064b \u0645\u0633\u0626\u0648\u0644\u0627\u0646\u0647 \u0648 […]"}